La Universidad de Harvard anunció el jueves que hará público un conjunto de datos de alta calidad que contiene cerca de un millón de libros de dominio público, que cualquiera puede utilizar para entrenar modelos de lenguaje grandes y otras herramientas de IA. Este conjunto de datos fue creado por la recién creada Iniciativa de Datos Institucionales (Institutional Data Initiative) de la Universidad de Harvard, y recibió financiamiento de Microsoft y OpenAI. Los libros incluidos son obras de dominio público escaneadas por el Proyecto de Libros de Google. Los datos...

Getty Images ha anunciado una iniciativa importante para proporcionar a los desarrolladores de IA un conjunto de datos de entrenamiento que incluye 3750 fotos de alta calidad, que abarcan 15 categorías, con el objetivo de apoyar el desarrollo de aplicaciones de IA. Estas fotos se han publicado en la plataforma Hugging Face y están disponibles gratuitamente para los usuarios que acepten los términos del servicio y proporcionen información de contacto. Esta medida tiene como objetivo atraer a empresas y desarrolladores, al tiempo que promueve sus servicios de licencia de pago. Getty Images afirma poseer más de 572 millones de fotos, de las cuales más de 200 millones están disponibles para uso comercial.

En mayo, IBM lanzó el modelo LLM Granite13B de código abierto para aplicaciones empresariales. Ahora, Armand Ruiz, vicepresidente de productos de la plataforma de IA de IBM, ha revelado el contenido completo del conjunto de datos de 6,48 TB utilizado para entrenar Granite13B.

El Instituto de Inteligencia Artificial de Beijing ha lanzado TACO, un conjunto de datos de entrenamiento para la generación de código, diseñado para proporcionar a los modelos de generación de código datos de entrenamiento y un benchmark de evaluación más desafiantes. TACO presenta ventajas en cuanto a escala de datos, calidad y métodos de evaluación, incluyendo un conjunto de entrenamiento y prueba de mayor tamaño, diversas soluciones a los problemas y etiquetas más granulares. Los resultados experimentales muestran que los modelos de generación de código populares actuales presentan diferencias significativas con GPT-4 en la evaluación de TACO, lo que indica que aún hay margen de mejora en este campo. TACO no solo...

Una organización antipiratería logró que se retirara el conjunto de datos de entrenamiento de IA "Books3" del repositorio de libros piratas en línea The Eye. El conjunto de datos "Books3", que contiene 37 GB de texto utilizado para entrenar modelos de inteligencia artificial, ha sido empleado por varias empresas. La organización antipiratería afirma que la IA presenta nuevos desafíos para los derechos de autor y planea continuar su lucha contra otros sitios web que alberguen este conjunto de datos.

El Laboratorio de IA de Shanghai y la Alianza de Datos de Corpus han lanzado conjuntamente el conjunto de datos de entrenamiento de pre-entrenamiento multi-modal 'Shusheng · Wànjuǎn' 1.0 de código abierto, que incluye conjuntos de datos de texto, texto e imagen, y vídeo, con un tamaño total superior a 2 TB. Este corpus ha sido sometido a una limpieza y eliminación de duplicados de grano fino, y se caracteriza por su fusión multifacética, su procesamiento preciso y su alta eficiencia y facilidad de uso. La publicación de este corpus de código abierto ayudará a promover la aplicación e innovación de los grandes modelos, reduciendo el umbral de la tecnología de los grandes modelos.